Recent studies show that, despite being effective on numerous tasks, text processing algorithms may be vulnerable to deliberate attacks. However, the question of whether such weaknesses can directly lead to security threats is still under-explored. To bridge this gap, we conducted vulnerability tests on Text-to-SQL, a technique that builds natural language interfaces for databases. Empirically, we showed that the Text-to-SQL modules of two commercial black boxes (Baidu-UNIT and Codex-powered Ai2sql) can be manipulated to produce malicious code, potentially leading to data breaches and Denial of Service. This is the first demonstration of the danger of NLP models being exploited as attack vectors in the wild. Moreover, experiments involving four open-source frameworks verified that simple backdoor attacks can achieve a 100% success rate on Text-to-SQL systems with almost no prediction performance impact. By reporting these findings and suggesting practical defences, we call for immediate attention from the NLP community to the identification and remediation of software security issues.

二进制代码相似性检测（BCSD）方法测量了两个二进制可执行代码的相似性。最近，基于学习的BCSD方法取得了巨大的成功，在检测准确性和效率方面表现优于传统的BCSD。但是，现有的研究在基于学习的BCSD方法的对抗脆弱性上相当稀疏，这会导致与安全相关的应用程序危害。为了评估对抗性的鲁棒性，本文设计了一种高效且黑色的对抗代码生成算法，即FuncFooler。 FuncFooler限制了对抗代码1）保持程序的控制流程图（CFG）和2）保持相同的语义含义。具体而言，funcfooler连续1）在恶意代码中确定脆弱的候选人，2）从良性代码中选择和插入对抗性指令，以及3）纠正对抗代码的语义副作用以满足约束。从经验上讲，我们的FuncFooler可以成功攻击包括Safe，ASM2VEC和JTRAN在内的三种基于学习的BCSD模型，它们质疑是否需要基于学习的BCSD。

基于分数的生成模型（SGM）最近已成为一类有希望的生成模型。关键思想是通过将高斯的噪音和梯度添加到高斯样品中，直到收敛到目标分布（又称扩散采样）来产生高质量的图像。但是，为了确保采样和发电质量中收敛的稳定性，此顺序抽样过程必须采用较小的步长和许多采样迭代（例如，2000年）。已经提出了几种加速方法，重点是低分辨率生成。在这项工作中，我们考虑使用SGM的高分辨率一代加速，这是一个更具挑战性，更重要的问题。从理论上讲，我们证明了这种缓慢的收敛弊端主要是由于目标分布的无知。此外，我们通过利用空间和频域中的结构先验来介绍一种新的目标分布意识采样（TDAS）方法。关于CIFAR-10，Celeba，LSUN和FFHQ数据集的广泛实验，验证了TDA可以始终加速最先进的SGM，尤其是在更具挑战性的高分辨率（1024x1024）图像生成任务上，最多可以维持18.4 x合成质量。随着采样迭代的较少，TDA仍然可以生成高质量的图像。相比之下，现有的方法会大大降解甚至完全失败

非参数两样本测试（TST）判断是否从同一分布中得出两组样本，已广泛用于关键数据的分析中。人们倾向于使用TST作为可信赖的基本工具，并且很少对其可靠性有任何疑问。本文系统地通过对抗攻击系统地揭示了非参数TST的故障模式，然后提出了相应的防御策略。首先，我们从理论上表明，对手可以在分配变化上限制，从而保证了攻击的隐形性。此外，我们从理论上发现，对手也可以降低TST测试能力的下限，这使我们能够迭代地最小化测试标准，以便搜索对抗对。为了启用TST不足的攻击，我们提出了一个合奏攻击（EA）框架，共同将不同类型的测试标准最小化。其次，为了鲁棒性TST，我们提出了一种最大值优化，它可以迭代地生成对抗对来训练深核。对模拟和现实世界数据集进行的广泛实验验证了非参数TST的对抗脆弱性以及我们提出的防御的有效性。源代码可从https://github.com/godxuxilie/robust-tst.git获得。

这项工作系统地调查了深度图像去噪者（DIDS）的对抗性稳健性，即，可以从嘈杂的观察中恢复地面真理的噪音，因对抗性扰动而变化。首先，为了评估DIDS的稳健性，我们提出了一种新的逆势攻击，即观察到的零平均攻击（{\ SC obsatk}），对给定嘈杂的图像来制作对抗零均匀扰动。我们发现现有的确实容易受到{\ SC Obsatk}产生的对抗噪声。其次，为了强化犯罪，我们提出了一种对抗性培训策略，混合对抗训练（{\ SC帽}），共同列车与对抗性和非对抗性嘈杂的数据做出，以确保重建质量很高，并且围绕非对抗性数据是局部光滑的。所得到的确实可以有效去除各种类型的合成和对抗性噪声。我们还发现，DIDS的稳健性使其在看不见的真实噪音上的概括能力。实际上，{\ SC帽子} -Tromed DID可以从真实世界的噪音中恢复高质量的清洁图像，即使没有真正的嘈杂数据训练。基准数据集的广泛实验，包括SET68，PolyU和SIDD，证实了{\ SC Obsatk}和{\ SC帽}的有效性。

对敌对训练（AT）作为最小值优化问题，可以有效地增强模型对对抗攻击的鲁棒性。现有的AT方法主要集中于操纵内部最大化，以生成质量对抗性变体或操纵外部最小化以设计有效的学习目标。然而，始终表现出与准确性和跨界混合物问题存在的鲁棒性的经验结果，这激发了我们研究某些标签随机性以使AT受益。首先，我们分别对AT的内部最大化和外部最小化进行彻底研究嘈杂的标签（NLS）注射，并获得有关NL注射益处AT何时的观察结果。其次，根据观察结果，我们提出了一种简单但有效的方法 - Noilin将NLS随机注入每个训练时期的训练数据，并在发生强大的过度拟合后动态提高NL注入率。从经验上讲，Noilin可以显着减轻AT的不良过度拟合的不良问题，甚至进一步改善了最新方法的概括。从哲学上讲，Noilin阐明了与NLS学习的新观点：NLS不应总是被视为有害的，即使在培训集中没有NLS的情况下，我们也可以考虑故意注射它们。代码可在https://github.com/zjfheart/noilin中找到。

我们从频道明智激活的角度调查CNN的对抗性鲁棒性。通过比较\ Textit {非鲁棒}（通常训练）和\ exingit {REXITIT {REARUSTIFIED}（普及培训的）模型，我们观察到对抗性培训（AT）通过将频道明智的数据与自然的渠道和自然的对抗激活对齐来强调CNN同行。然而，在处理逆势数据时仍仍会过度激活以\ texit {excy-computive}（nr）的频道仍会过度激活。此外，我们还观察到，在所有课程上不会导致类似的稳健性。对于强大的类，具有较大激活大小的频道通常是更长的\ extedit {正相关}（pr）到预测，但这种对齐不适用于非鲁棒类。鉴于这些观察结果，我们假设抑制NR通道并对齐PR与其相关性进一步增强了在其下的CNN的鲁棒性。为了检查这个假设，我们介绍了一种新的机制，即\下划线{C} Hannel-Wise \ Underline {i} Mportance的\下划线{F} eature \ Underline {s}选举（CIFS）。 CIFS通过基于与预测的相关性产生非负乘法器来操纵某些层的激活。在包括CIFAR10和SVHN的基准数据集上的广泛实验明确验证了强制性CNN的假设和CIFS的有效性。 \ url {https://github.com/hanshuyan/cifs}

Adversarial training based on the minimax formulation is necessary for obtaining adversarial robustness of trained models. However, it is conservative or even pessimistic so that it sometimes hurts the natural generalization. In this paper, we raise a fundamental question-do we have to trade off natural generalization for adversarial robustness? We argue that adversarial training is to employ confident adversarial data for updating the current model. We propose a novel formulation of friendly adversarial training (FAT): rather than employing most adversarial data maximizing the loss, we search for least adversarial data (i.e., friendly adversarial data) minimizing the loss, among the adversarial data that are confidently misclassified. Our novel formulation is easy to implement by just stopping the most adversarial data searching algorithms such as PGD (projected gradient descent) early, which we call early-stopped PGD. Theoretically, FAT is justified by an upper bound of the adversarial risk. Empirically, early-stopped PGD allows us to answer the earlier question negatively-adversarial robustness can indeed be achieved without compromising the natural generalization.* Equal contribution † Preliminary work was done during an internship at RIKEN AIP.

Dialect differences caused by regional, social, and economic barriers cause performance discrepancies for many groups of users of language technology. Fair, inclusive, and equitable language technology must critically be dialect invariant, meaning that performance remains constant over dialectal shifts. Current English systems often fall significantly short of this ideal since they are designed and tested on a single dialect: Standard American English. We introduce Multi-VALUE -- a suite of resources for evaluating and achieving English dialect invariance. We build a controllable rule-based translation system spanning 50 English dialects and a total of 189 unique linguistic features. Our translation maps Standard American English text to synthetic form of each dialect, which uses an upper-bound on the natural density of features in that dialect. First, we use this system to build stress tests for question answering, machine translation, and semantic parsing tasks. Stress tests reveal significant performance disparities for leading models on non-standard dialects. Second, we use this system as a data augmentation technique to improve the dialect robustness of existing systems. Finally, we partner with native speakers of Chicano and Indian English to release new gold-standard variants of the popular CoQA task.

我们研究了协变量偏移下的线性回归，其中输入协变量的边际分布在源和目标域上有所不同，而在两个域中，给定输入协变量的输出的条件分布相似。我们根据针对此问题的目标数据（均由在线SGD进行的目标数据（均由在线SGD执行）进行预处理研究，研究了转移学习方法。我们为这种方法建立了尖锐的实例依赖性高风险上限和下限。我们的界限表明，对于大量的线性回归实例，使用$ O（n^2）$源数据（以及稀缺或无目标数据）转移学习与使用$ n $目标数据的监督学习一样有效。此外，我们表明，即使只有少量的目标数据，也可能会大大减少预处理所需的源数据量。我们的理论阐明了预处理的有效性和局限性以及对解决协变量转移问题的填补的好处。